Cũng giống như số phận tứ đại khí, bốn ngôi chùa liên quan cũng có số phận khá buồn. Chùa Quỳnh Lâm bị đốt trụi thời Thiệu Trị, chùa Sùng Khánh thời thuộc Pháp cũng bị phá để xây Nhà thờ Lớn, hiện chỉ còn chùa Diên Hựu (Một Cột) và chùa Phổ Minh.